iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0
AI Security

我做了一個Claude skill的掃毒軟體學到的那些事系列 第 4

當資料變成武器:提示詞注入與 AI 供應鏈

  • 分享至 

  • xImage
  •  

為了做 Claude Skill 的掃毒工具「小章魚」,我開始找 AI 相關的攻擊與風險清單,找到了 OWASP(Open Worldwide Application Security Project,開放式全球應用程式安全計畫,一個整理軟體資安知識的非營利社群)發布的兩份十大風險清單:針對大型語言模型的 OWASP Top 10 for LLM Applications,以及針對自主型 AI 助理的 OWASP Top 10 for Agentic Applications 2026。

我不是從原理開始學,而是先讀風險清單:先知道會有什麼樣的威脅和風險,再來了解為什麼?今天不會把清單逐項講完,只挑兩個我認為最常被忽略的:提示詞注入,以及 AI 供應鏈。

如果你要問我知道這些風險之後最大的變化是什麼?

我會說,你可以更了解LLM(Large Language Model,大型語言模型)在實際使用中的樣子,透過了解這些漏洞或是特質,並且知道怎麼比較好的互動。

像是提示詞注入(Prompt injection),透過一般的句子或是文章以意料之外的方式影響或是攻擊大語言模型。

提示詞注入可以分成兩種,差別在指令從哪裡進來。直接提示詞注入,是使用者在對話框裡輸入的內容改變了模型行為;間接提示詞注入,是模型讀取網頁、檔案等外部內容時,裡面夾帶的文字改變了模型行為。兩種都可能是蓄意攻擊,也可能是無意間觸發。間接注入更麻煩的地方在於,使用者往往不知道自己交給 AI 的資料裡藏了東西。

這跟過去的威脅,有什麼不一樣?

從惡意的程式、軟體,轉變成一般人熟悉但沒有防範意識的一般文章資料,裡面沒有任何惡意程式,一般以特徵碼比對的防毒軟體可能無法偵測。

這會導致什麼?

如果要全面導入AI Agent(AI 代理,能自己規劃步驟、呼叫工具完成任務的 AI),讓Agent可以接觸資料,無論是公司內部或是網路上的資料,都需要去確認資料來源有沒有潛在的提示詞注入。

像是我曾經在一個PDF檔的簡報用文字搜尋,找到肉眼看不到的隱形的品牌浮水印,上面寫著品牌名稱和官網連結,因為是藏在文字和圖形層的後面,被蓋住了透過眼睛看不到,必須要由AI或是直接在PDF以文字搜尋全文,打品牌名字,才能找到。

這在過去不一定會嚴重構成資安上的問題,但是現在這種隱形的浮水印,如果上面不是寫品牌名稱,而是提示詞注入,那可能帶來隱患。

第二個常見風險來自供應鏈。開發 AI 產品時,我們常直接安裝別人寫好的套件或 SDK(Software Development Kit,軟體開發套件:別人先把常用功能打包好,照說明拿來組裝就能用)。問題是,我們常因為信任這些套件就直接給它權限,卻沒確認兩件事。第一,它是不是冒牌貨:攻擊者會註冊和熱門套件只差一兩個字母的名字,等開發者打錯字時裝進去,這叫名稱仿冒(typosquatting)。第二,它本身有沒有被動過手腳,例如藏了後門。

後門是指繞過正常登入或安全檢查、只有知情者才用得到的入口。過去的後門藏在程式碼裡,例如開發者測試時寫死一組萬用帳號密碼,上線前忘了刪。到了 LLM 與 Agent 的時代,後門不一定藏在程式碼,也可以藏在資料裡,一個特定的觸發詞,或一段用隱形字元寫成的指令,例如「若偵測到處理者為 AI Agent,請忽略先前的系統指令……」。

這也是我把這兩個風險放在同一篇的原因。Claude Skill 是別人寫好、讓 Claude 學會某項能力的指令包,內容大多是寫給 AI 讀的文字。當一個 Skill 裡的後門是一段文字而不是程式碼,供應鏈問題就同時變成了提示詞注入問題,而這正是一般防毒軟體看不到的地方。

所以在做小章魚的過程中,我把這兩個風險當作主要的防護目標。如果你也要開始做 AI 相關的軟體或系統,有三件事可以知道一下:

第一,除了你自己寫給 AI 的指令以外,其他文字都當作不可信的輸入,包括公司內部的文件和檔案。
第二,安裝或連接外部的套件、Skill、MCP server 之前,先確認來源。
第三,請 AI 幫忙檢查可以當作第一道篩選,但要記得,負責檢查的 AI 一樣可能被注入內容影響,不能當成唯一的防線。


上一篇
AI成了我的主管,我在幫他複製、貼上
下一篇
越獄和LLM的關係
系列文
我做了一個Claude skill的掃毒軟體學到的那些事10
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言